Học hebbian là gì? Các bài nghiên cứu khoa học liên quan

Mở đầu: “Học Hebbian” trong bối cảnh khoa học thần kinh và học máy

Học Hebbian (Hebbian learning) là một họ các quy tắc học mô tả cách cường độ liên kết giữa các nơ-ron thay đổi dựa trên hoạt động đồng thời của chúng. Ý tưởng trung tâm của học Hebbian thường được tóm lược ngắn gọn bằng mệnh đề: khi một nơ-ron trước synapse và một nơ-ron sau synapse thường xuyên cùng hoạt động, liên kết giữa chúng có xu hướng mạnh lên. Cách diễn đạt này nhấn mạnh mối quan hệ giữa kinh nghiệm, hoạt động thần kinh và sự thay đổi cấu trúc chức năng của mạng nơ-ron.

Trong phân loại các phương pháp học, học Hebbian thường được xếp vào nhóm học không giám sát, do quá trình cập nhật không cần nhãn hay tín hiệu lỗi bên ngoài. Thay vào đó, thông tin dùng để học xuất phát trực tiếp từ hoạt động nội tại của hệ thống. Điều này khiến học Hebbian khác biệt rõ rệt so với các thuật toán học có giám sát phổ biến trong học máy hiện đại, vốn dựa trên mục tiêu tối ưu và hàm mất mát được xác định rõ ràng.

Học Hebbian xuất hiện trong hai ngữ cảnh nghiên cứu chính. Thứ nhất là khoa học thần kinh, nơi nó được xem như một nguyên lý khái quát để giải thích tính dẻo synapse và khả năng học tập của não bộ sinh học. Thứ hai là khoa học máy tính và trí tuệ nhân tạo, nơi học Hebbian được trừu tượng hóa thành các quy tắc cập nhật trọng số đơn giản, mang tính cục bộ và dễ triển khai trong mô hình mạng nơ-ron nhân tạo.

• Đối tượng nghiên cứu: synapse sinh học và mô hình trọng số nhân tạo
• Loại học: không giám sát, liên tưởng
• Mức độ mô tả: từ định tính (ý tưởng) đến định lượng (công thức)

Nguồn gốc lịch sử và ý tưởng cốt lõi của Hebb

Nguồn gốc của học Hebbian gắn liền với công trình của nhà tâm lý học và thần kinh học Donald O. Hebb, được công bố năm 1949 trong cuốn sách “The Organization of Behavior”. Mục tiêu của Hebb không phải xây dựng một thuật toán tính toán cụ thể, mà là đề xuất một khuôn khổ lý thuyết để giải thích cách kinh nghiệm cá nhân có thể dẫn đến những thay đổi bền vững trong hành vi và nhận thức.

Trong khuôn khổ đó, Hebb đưa ra một giả thuyết mang tính nguyên lý: nếu một nơ-ron A liên tục tham gia vào việc kích hoạt một nơ-ron B, thì hiệu quả của synapse từ A đến B sẽ tăng lên. Giả thuyết này, thường được gọi là “mệnh đề Hebb”, không kèm theo công thức toán học chi tiết, nhưng lại có ảnh hưởng sâu rộng, trở thành nền tảng cho nhiều mô hình học thần kinh và học máy sau này.

Một điểm quan trọng trong tư tưởng của Hebb là cách ông liên kết mức vi mô (hoạt động của nơ-ron và synapse) với mức vĩ mô (hành vi và nhận thức). Ông cho rằng các tập hợp nơ-ron liên kết chặt chẽ, được hình thành thông qua học tập, có thể hoạt động như những “tập hợp tế bào” (cell assemblies), chịu trách nhiệm cho việc biểu diễn và xử lý thông tin trong não.

Khía cạnh	Nội dung chính
Mục tiêu	Giải thích cơ chế học và trí nhớ ở não bộ
Cấp độ	Từ synapse đến hành vi
Đóng góp	Đề xuất nguyên lý học dựa trên đồng hoạt hóa

Cơ sở sinh học: tính dẻo synapse và LTP/LTD

Trong khoa học thần kinh hiện đại, học Hebbian thường được đặt trong bối cảnh của tính dẻo synapse, tức khả năng synapse thay đổi hiệu quả dẫn truyền theo thời gian. Tính dẻo này không phải là hiện tượng ngẫu nhiên, mà phụ thuộc có hệ thống vào mô hình hoạt động của các nơ-ron liên quan. Điều này tạo nền tảng sinh học cho ý tưởng rằng não bộ có thể học và lưu trữ thông tin.

Hai hiện tượng được nghiên cứu rộng rãi nhất liên quan đến tính dẻo synapse là tăng cường dài hạn (long-term potentiation, LTP) và suy giảm dài hạn (long-term depression, LTD). LTP mô tả sự gia tăng bền vững của hiệu quả synapse sau một chuỗi kích thích phù hợp, trong khi LTD mô tả sự suy giảm kéo dài của hiệu quả synapse dưới những điều kiện kích thích khác.

LTP và LTD thường được xem là các cơ chế sinh học cụ thể hiện thực hóa nguyên lý Hebbian. Tuy nhiên, mối quan hệ này không hoàn toàn đồng nhất: không phải mọi dạng LTP/LTD đều tuân theo quy tắc Hebbian đơn giản, và nhiều cơ chế bổ sung như vai trò của thụ thể NMDA, ion canxi, và các chất điều biến thần kinh cũng tham gia vào quá trình này.

• LTP: liên quan đến học và trí nhớ dài hạn
• LTD: giúp tinh chỉnh và loại bỏ liên kết không còn phù hợp
• Cả hai: góp phần duy trì tính linh hoạt của mạng nơ-ron

Mô hình hóa toán học: quy tắc Hebb cơ bản và trực giác

Để đưa ý tưởng Hebbian vào mô hình tính toán, các nhà nghiên cứu đã xây dựng những quy tắc cập nhật trọng số đơn giản. Trong mô hình nơ-ron nhân tạo cơ bản, mỗi synapse được gán một trọng số biểu diễn mức ảnh hưởng của nơ-ron đầu vào lên nơ-ron đầu ra. Học Hebbian được mô tả như sự thay đổi của trọng số này theo hoạt động của hai nơ-ron liên kết.

Một dạng quy tắc Hebb cổ điển thường được viết dưới dạng: $\Delta w_{ij} = \eta \, x_i \, y_j$ trong đó $x_i$ là hoạt động của nơ-ron tiền synapse, $y_j$ là hoạt động của nơ-ron hậu synapse, và $\eta$ là hệ số học. Quy tắc này thể hiện trực tiếp ý tưởng rằng khi cả hai nơ-ron cùng hoạt động mạnh, trọng số kết nối giữa chúng sẽ tăng.

Về mặt trực giác, tích $x_i y_j$ có thể được hiểu như một thước đo tương quan cục bộ giữa hai tín hiệu. Khi áp dụng lặp đi lặp lại trên dữ liệu, quy tắc Hebb có xu hướng khuếch đại các hướng biến thiên chính trong không gian đầu vào. Tuy nhiên, nếu không có cơ chế chuẩn hóa hay ràng buộc, trọng số có thể tăng không giới hạn, dẫn đến mất ổn định của mô hình.

1. Ưu điểm: đơn giản, cục bộ, dễ diễn giải sinh học
2. Hạn chế: dễ gây bùng nổ trọng số nếu áp dụng thuần túy
3. Hệ quả: cần các biến thể hoặc cơ chế ổn định bổ sung

Các biến thể quan trọng để đảm bảo ổn định: quy tắc Oja và liên hệ PCA

Một trong những hạn chế lớn nhất của quy tắc Hebb cổ điển là hiện tượng mất ổn định, khi trọng số tăng không giới hạn theo thời gian. Để khắc phục vấn đề này, nhiều biến thể đã được đề xuất, trong đó quy tắc Oja là một trong những dạng đơn giản và có ảnh hưởng lớn nhất. Quy tắc này bổ sung một thành phần chuẩn hóa trực tiếp vào công thức cập nhật, giúp kiểm soát độ lớn của trọng số.

Dạng phổ biến của quy tắc Oja có thể được biểu diễn như sau: $\Delta \mathbf{w} = \eta \, y \, (\mathbf{x} - y \mathbf{w})$ Ở đây, thành phần $- \eta y^2 \mathbf{w}$ đóng vai trò như một lực “kéo ngược”, ngăn trọng số tăng vô hạn. Nhờ đó, hệ thống có thể hội tụ về một nghiệm ổn định ngay cả khi được huấn luyện trong thời gian dài.

Một kết quả quan trọng của quy tắc Oja là mối liên hệ chặt chẽ với phân tích thành phần chính (Principal Component Analysis, PCA). Với nơ-ron tuyến tính và dữ liệu đầu vào có phân phối cố định, trọng số hội tụ theo quy tắc Oja sẽ xấp xỉ vector riêng ứng với trị riêng lớn nhất của ma trận hiệp phương sai. Điều này cho thấy học Hebbian, khi được điều chỉnh phù hợp, có thể được diễn giải như một phương pháp học thống kê có cơ sở toán học rõ ràng.

Đặc điểm	Hebb cổ điển	Quy tắc Oja
Ổn định trọng số	Không đảm bảo	Có chuẩn hóa
Liên hệ PCA	Gián tiếp	Trực tiếp, rõ ràng
Khả năng hội tụ	Phụ thuộc điều kiện	Hội tụ trong nhiều trường hợp

Metaplasticity và quy tắc BCM: ngưỡng trượt cho LTP/LTD

Quy tắc BCM (Bienenstock–Cooper–Munro) được phát triển nhằm mở rộng ý tưởng Hebbian theo hướng linh hoạt hơn, đặc biệt trong việc mô tả cả tăng cường và suy giảm synapse trong cùng một khuôn khổ. Điểm then chốt của BCM là sự tồn tại của một ngưỡng hoạt động hậu synapse không cố định, mà thay đổi theo lịch sử hoạt động của nơ-ron.

Một dạng biểu diễn khái quát của quy tắc BCM là: $\frac{dw}{dt} = \eta \, x \, y \, (y - \theta_M)$ Trong đó $\theta_M$ là ngưỡng trượt, thường phụ thuộc vào trung bình dài hạn của $y$. Khi hoạt động hậu synapse vượt quá ngưỡng này, synapse được tăng cường; ngược lại, nếu thấp hơn, synapse bị suy giảm.

Ý nghĩa quan trọng của BCM nằm ở khái niệm metaplasticity, tức “tính dẻo của tính dẻo”. Thay vì chỉ điều chỉnh trọng số, hệ thống còn điều chỉnh cách nó học dựa trên kinh nghiệm trước đó. Điều này giúp mạng nơ-ron tránh trạng thái bão hòa và duy trì khả năng thích nghi trong thời gian dài.

• Ngưỡng trượt giúp cân bằng LTP và LTD
• Giải thích hiện tượng tự ổn định trong não
• Ứng dụng trong mô hình phát triển vỏ não cảm giác

Hebbian theo thời gian: STDP (Spike-Timing-Dependent Plasticity)

Một bước phát triển quan trọng của học Hebbian là việc đưa yếu tố thời gian vào quy tắc học. Trong não sinh học, nơ-ron giao tiếp thông qua các xung điện rời rạc (spike), và thứ tự thời gian của các spike này mang thông tin quan trọng. STDP mô tả cách sự chênh lệch thời gian giữa spike tiền synapse và hậu synapse ảnh hưởng đến việc tăng hay giảm synapse.

Ở mức định tính, STDP thường tuân theo nguyên tắc: nếu spike tiền synapse xảy ra ngay trước spike hậu synapse trong một cửa sổ thời gian ngắn, synapse có xu hướng được tăng cường; nếu thứ tự ngược lại, synapse có xu hướng suy giảm. Cửa sổ thời gian này thường nằm trong khoảng vài chục mili giây, nhưng có thể thay đổi tùy vùng não và loại synapse.

STDP được xem là một dạng Hebbian “tinh chỉnh theo thời gian”, phản ánh chính xác hơn cơ chế sinh học so với quy tắc Hebb cổ điển dựa trên trung bình hoạt động. Đồng thời, nó cũng mở ra khả năng mô hình hóa các quá trình học tuần tự và mã hóa quan hệ nhân quả trong mạng nơ-ron.

Liên hệ với học máy: học không giám sát, bộ nhớ liên tưởng và so sánh với backpropagation

Trong học máy, học Hebbian đóng vai trò như một cơ chế học cục bộ, chỉ cần thông tin sẵn có tại mỗi synapse. Điều này đối lập với backpropagation, vốn yêu cầu lan truyền thông tin lỗi toàn cục qua nhiều lớp mạng. Do đó, học Hebbian thường được xem là gần với sinh học hơn, nhưng kém hiệu quả hơn trong việc tối ưu các bài toán dự đoán phức tạp.

Một ứng dụng kinh điển của học Hebbian là trong mạng Hopfield, nơi các mẫu được lưu trữ như các trạng thái ổn định của hệ thống. Trọng số được thiết lập dựa trên tương quan giữa các thành phần của mẫu, cho phép mạng hoạt động như một bộ nhớ liên tưởng, có khả năng phục hồi mẫu đầy đủ từ dữ liệu đầu vào bị nhiễu hoặc thiếu.

So với backpropagation, học Hebbian không tối ưu trực tiếp một hàm mất mát rõ ràng. Tuy nhiên, chính đặc điểm này khiến nó phù hợp cho các bài toán khám phá cấu trúc dữ liệu, học biểu diễn, hoặc nghiên cứu các nguyên lý học tập sinh học.

• Hebbian: cục bộ, không giám sát, dễ diễn giải
• Backpropagation: toàn cục, có giám sát, hiệu quả cao
• Hai hướng tiếp cận phục vụ mục tiêu khác nhau

Ứng dụng, hạn chế và hướng phát triển hiện đại

Học Hebbian được ứng dụng rộng rãi trong khoa học thần kinh tính toán, đặc biệt trong mô phỏng học liên tưởng, phát triển bản đồ cảm giác, và nghiên cứu trí nhớ. Trong học máy, các biến thể Hebbian được sử dụng cho PCA dòng dữ liệu, tiền huấn luyện đơn giản, hoặc làm thành phần của các hệ học phức hợp hơn.

Tuy nhiên, học Hebbian cũng có nhiều hạn chế. Các quy tắc đơn giản thường không đủ để mô tả đầy đủ sự phức tạp của não sinh học. Ngoài ra, trong bối cảnh học máy, Hebbian learning khó cạnh tranh với các phương pháp tối ưu hiện đại về hiệu năng trên các bài toán lớn.

Các hướng nghiên cứu gần đây tập trung vào việc kết hợp học Hebbian với các cơ chế điều biến thần kinh, học theo phần thưởng, và homeostatic plasticity. Mục tiêu là xây dựng các mô hình vừa có tính sinh học hợp lý, vừa có khả năng học hiệu quả trong môi trường phức tạp.

Tài liệu tham khảo

1. Hebb, D. O. (1949). The Organization of Behavior: A Neuropsychological Theory. Wiley.
2. Oja, E. (1982). A simplified neuron model as a principal component analyzer. Journal of Mathematical Biology, 15, 267–273. PDF: https://neurophysics.ucsd.edu/courses/physics_171/Oja_1982.pdf
3. Cooper, L. N. (2012). The BCM theory of synapse modification at 30. Progress in Brain Research. PubMed: https://pubmed.ncbi.nlm.nih.gov/23080416/
4. Sjöström, J., & Gerstner, W. (2010). Spike-timing dependent plasticity. Scholarpedia. PDF: https://lcnwww.epfl.ch/gerstner/PUBLICATIONS/STDP-Scholarpedia2010.pdf
5. Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. PNAS, 79(8), 2554–2558. https://www.pnas.org/doi/10.1073/pnas.79.8.2554
6. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. PDF: https://www.nature.com/articles/323533a0.pdf